مدیریت توان در شبکه های حسگر بی سیم با الگوریتم یادگیری تقویتی

امروزه شبکه های حسگر بی سیم کاربردهای گوناگونی در صنعت، امور پزشکی، نظامی و نظارت بر محیط دارند. از آنجا که هر گره حسگر مجهز به یک منبع تغذیه با توان محدود می باشد، لذا کاهش مصرف انرژی در این شبکه ها اهمیت بسیاری دارد. مدیریت توان یکی از تکنیک های رایج در کاهش مصرف انرژی در گره های حسگر می باشد. در این پایان نامه دو رویکرد متمرکز و توزیع شده جهت مدیریت توان در گره های حسگر ارائه شده است. در رویکرد متمرکز مساله زمان بندی خواب در شبکه های حسگر با هدف ماکزیمم کردن طول عمر شبکه به صورت یک فرایند تصمیم گیری مارکف در دو سطح حسگر و خوشه مدل و با برنامه نویسی پویا حل می شود. نتایج تحلیل نشان می دهد روش پیشنهادی در سطح حسگر دارای پیچیدگی نمایی و در سطح خوشه دارای پیچیدگی مستقل از تعداد حسگرها می باشد. این روش با سه رویکرد انتخاب تصادفی، انتخاب بر مبنای فاصله و انتخاب بر مبنای انرژی مقایسه شده است. نتایج شبیه سازی نشان می دهد طول عمر شبکه در روش پیشنهادی بیشتر از سه رویکرد دیگر است. از آنجا که این روش ماهیاتا نمایی بوده و مبتنی بر مدل و مختص شبکه های با یک گام می باشد، لذا در صدد رفع این محدودیت ها بر آمده و رویکردی توزیع شده جهت مدیریت توان در این شبکه ها ارائه می دهیم. در رویکرد توزیع شده از وضعیت های توانی مختلف در گره های حسگر و تکنیک بافر کردن استفاده می شود. مساله مدیریت توان در گره حسگر به صورت یک فرایند تصمیم گیری مارکف با متوسط جوایز مدل می شود. با تعریف توان عمیاتی برای هر وضعیت، تابع هدف را به صورت متوسط توان عملیاتی به انرژی مصرفی در طول اجرای طولانی مدت تعریف می کنیم. هدف یافتن سیاستی است که این تابع هدف را ماکزیمم کند. برای دست یافتن به این سیاست دو روش پیشنهاد می شود. روش اول که dpm نام دارد روشی مبتنی بر مدل می باشد. در این روش سیاست بهینه فرایند مارکف با استفاده از برنامه نویسی پویا محاسبه می شود. ماهیت این روش طوری است که به کارگیری آن در شبکه های حسگر با چندین گام گرچه ممکن است اما نیاز به محاسبات پیچیده دارد. روش دوم که rlpm نام دارد روشی مستقل از مدل می باشد و در عین حال در شبکه های حسگر با چندین گام به راحتی قابل به کارگیری می باشد. در این روش سیاست بهینه فرایند مارکف با استفاده از روش یادگیری تقویتی تخمین زده می شود. نتایج شبیه سازی در توپولوژی ستاره نشان می دهد روش dpm در مقایسه با simple policy که یک سیاست پایه ای در مدیریت توان محسوب می شود، منجر به کاهش مصرف انرژی به میزان تقریبی 20 الی 35 درصد می شود و در عین حال توان عملیاتی تقریبا یکسان با simple policy کسب می کند. روش rlpm پس از همگرایی بسیار مشابه و نزدیک به dpm عمل می کند. در توپولوژی خطی، روش rlpm پس از همگرایی در مقایسه با simple policy منجر به کاهش مصرف انرژی به میزان 3/20 در صد می شود. در حالی که نرخ گزارش رخداد ها تنها 2 درصد کاهش می یابد. به طور خلاصه در شبکه های یک گام چنانچه مدل وقوع رخداد در محیط مشخص باشد روش dpm و در غیر این صورت روش rlpm توصیه شده این پایان نامه می باشد.